Ông nội là Triệu Ngụy, làm đến Ngân thanh quang lộc đại phu, Nhạc Lãng thái thú nhà Tây Ngụy. Cha là Triệu Thọ, làm đến Thuận Chánh thái thú nhà Bắc Chu.

Tài từ nhỏ mạnh mẽ, giỏi cưỡi ngựa bắn cung, tính thô kệch hung tợn, không có vẻ nghiêm trang. Đời Bắc Chu, Tài được làm Dư chánh thượng sĩ. Tùy Văn đế lên ngôi, Tài nhờ nhiều lần lập quân công mà được thăng đến Thượng nghi đồng tam tư. Sau đó, Tài được điều đến phục vụ Tấn vương Dương Quảng; Dương Quảng trở thành Thái tử, ông được bái làm Hữu ngu hậu soái.